MotionBERT: Unifified Pretraining for Human Motion Analysis

分享人：蔡家伦
研究方向：三维人体姿态估计
论文题目：MotionBERT: Unifified Pretraining for Human Motion Analysis
论文作者：Wentao Zhu, Xiaoxuan Ma, Zhaoyang Liu, Libin Liu, Wayne Wu, and Yizhou Wang
作者单位：北京大学、上海人工智能实验室
论文摘要：我们提出了 MotionBERT，一个统一的预训练框架，用于处理人体运动分析的不同子任务，包括 3D 姿势估计、基于骨架的动作识别和网格恢复。所提出的框架能够利用各种人体运动数据资源，包括运动捕捉数据和野外视频。在预训练期间，前置任务要求运动编码器从嘈杂的部分 2D 观察中恢复底层的 3D 运动。因此，预训练的运动表示获得了关于人体运动的几何、运动学和物理知识，因此可以很容易地转移到多个下游任务。我们使用一种新颖的双流时空变换器 (DSTformer) 神经网络来实现运动编码器。它可以全面且自适应地捕获骨骼关节之间的远程时空关系，例如从头开始训练时迄今为止最低的 3D 姿态估计误差。更重要的是，所提出的框架通过简单地微调具有 1-2 个线性层的预训练运动编码器，在所有三个下游任务上实现了最先进的性能，这证明了学习运动表示的多功能性。
原文链接：

点击此处